在计算机视觉领域，异常检测最近引起了越来越多的关注，这可能是由于其广泛的应用程序从工业生产线上的产品故障检测到视频监视中即将发生的事件检测到在医疗扫描中发现病变。不管域如何，通常将异常检测构架为一级分类任务，其中仅在正常示例上进行学习。整个成功的异常检测方法的家庭基于学习重建掩盖的正常输入（例如贴片，未来帧等），并将重建误差的幅度作为异常水平的指标。与其他基于重建的方法不同，我们提出了一种新颖的自我监督蒙面的卷积变压器块（SSMCTB），该卷积变压器块（SSMCTB）包括基于重建的功能在核心架构层面上。拟议的自我监督块非常灵活，可以在神经网络的任何层上掩盖信息，并与广泛的神经体系结构兼容。在这项工作中，我们扩展了以前的自我监督预测性卷积专注块（SSPCAB），并具有3D掩盖的卷积层，以及用于频道注意的变压器。此外，我们表明我们的块适用于更广泛的任务，在医学图像和热视频中添加异常检测到基于RGB图像和监视视频的先前考虑的任务。我们通过将SSMCTB的普遍性和灵活性整合到多个最先进的神经模型中，以进行异常检测，从而带来了经验结果，可以证实对五个基准的绩效改进：MVTEC AD，BRATS，BRATS，Avenue，Shanghaitech和Thermal和Thermal和Thermal罕见事件。我们在https://github.com/ristea/ssmctb上发布代码和数据作为开源。
translated by 谷歌翻译
异常检测通常被追求为单级分类问题，其中模型只能从正常训练样本中学习，同时在正常和异常的测试样本上进行评估。在异常检测的成功方法中，一种杰出的方法依赖于预测屏蔽信息（例如修补程序，未来帧等）并利用相对于屏蔽信息的重建误差作为异常分数。与相关方法不同，我们建议将基于重建的功能集成为新颖的自我监督的预测建筑结构块。所提出的自我监督块是通用的，并且可以容易地结合到各种最先进的异常检测方法中。我们的块从带有扩张过滤器的卷积层开始，其中掩盖接收场的中心区域。得到的激活图通过通道注意模块传递。我们的块配备有损失，使得能够最小化接收领域中的遮蔽区域的重建误差。我们通过将其集成到几种最先进的框架中，以便在图像和视频上进行异常检测，提供对MVTEC AD，Avenue和Shanghaitech的经验证据提供了显着改进的经验证据。
translated by 谷歌翻译
生成流动网络（GFLOWNETS）是一种算法家族，用于训练在非均衡目标密度下离散对象的顺序采样器，并已成功用于各种概率建模任务。现有的Gflownets培训目标是国家本地的，或者是过渡的本地，或者在整个采样轨迹上传播奖励信号。我们认为，这些替代方案代表了梯度偏见变化权衡的相反目的，并提出了一种利用这种权衡以减轻其有害影响的方法。受到强化学习的TD（$ \ lambda $）算法的启发，我们介绍了一个subtrajectory Balance或subtb（$ \ lambda $），这是一个GFLOWNET培训目标，可以从不同长度的部分动作子序列中学习。我们表明，SubTB（$ \ lambda $）会在先前研究和新环境中加速采样器的收敛，并在具有更长的动作序列和比以前的可能性更长的环境中培训Gflownets。我们还对随机梯度动力学进行了比较分析，阐明了GFLOWNET训练中的偏差变化权衡以及亚条件平衡的优势。
translated by 谷歌翻译
尽管已经提出了几种方法来实现领域泛化的艰巨任务，但了解使这项任务挑战的原因很少受到关注。在这里，我们提出semanticdg（语义域概括）：具有15个具有相同几何形状，场景布局和摄像机参数与流行的3D Scannet数据集的基准标准，但具有照明，材料和视图点的控制域移动。使用此基准，我们独立研究了这些语义转变对概括的影响。视觉识别模型很容易推广到新颖的照明，但与材料和观点的分配变化斗争。受到人类视野的启发，我们假设场景上下文可以作为桥梁，以帮助模型跨越材料和观点域的转移，并提出上下文感知的视觉变压器，以及对材料和观点变化的对比损失，以解决这些域的变化。我们的方法（称为CDCNET）的表现优于现有域的概括方法，超过18％。作为关键的基准，我们还进行心理物理学实验，发现人类在照明，材料和观点上同样概括地概括了。此处介绍的基准和计算模型有助于了解与跨域的概括相关的挑战，并提供了向语义分布转移推断的初始步骤。我们在补充中包括所有数据和源代码。
translated by 谷歌翻译
我们展示了基本的头部动作单位被称为行为分析的Kinemes，以预测人格和面试特征。将头部运动模式转换为一系列型术语有助于发现表征目标性状的潜在时间签名，从而实现有效和可说明的特征预测。利用Kinemes和面部动作编码系统（FACS）特征来预测（a）在第一次印象上的海洋人格性状候选筛选视频中，（b）在MIT数据集上的面试特征，我们注意到：（1）长期用Kineme序列训练的内存（LSTM）网络表现优于或类似于用面部图像培训的卷积神经网络（CNN）;（2）与Kinemes组合的FACS动作单位（AUS）组合实现了精确的预测和解释，并且（3）预测性能受到朝向头部和面部运动的时间长度的影响。
translated by 谷歌翻译
图形神经网络（GNNS）是一种用于建模图形结构化数据的流行技术，该数据通过来自每个节点的本地邻域的信息聚合来计算节点级表示的结构。然而，该聚合意味着增加敏感信息的风险，因为节点可以参与多个节点的推断。这意味着标准隐私保存机器学习技术，例如差异私有随机梯度下降（DP-SGD） - 这被设计用于每个数据点仅参与推理的一个点的情况 - 要么不适用，或导致不准确解决方案。在这项工作中，我们正式定义了使用节点级别隐私学习1层GNN的问题，并提供具有强大差异隐私保证的算法解决方案。即使每个节点都可以参与多个节点的推断，通过采用仔细的敏感性分析和逐个放大技术的非琐碎扩展，我们的方法能够提供具有实心隐私参数的准确解决方案。标准基准测试的实证评估表明，我们的方法确实能够学习准确的隐私保留GNN，同时仍然优于完全忽略图形信息的标准非私有方法。
translated by 谷歌翻译
最近的知识接地对话框方法通过从外部文本文档中包含信息来生成响应。这些方法不需要在训练期间知道确切的文件，并依赖于使用检索系统来从大型索引获取相关文档。用于生成响应的文档被建模为潜在的变量，其先验概率需要估计。诸如rag等型号，在从索引中检索的文档上边缘化文档概率，以定义对端到端优化的日志似然丢失函数。在本文中，我们开发了上述技术的变分方法，据称，我们最大化证据下限（ELBO）。使用三个公开可用的开放式对话数据集的集合，我们展示了与地面真相响应的信息的后部分布如何允许在训练期间更好地逼近客观函数。为了克服与大型知识收集相关的抽样相关的挑战，我们开发了一种高效的方法来近似eLBO。据我们所知，我们是第一个适用于开放式无监督知识接地对话系统的变分培训。
translated by 谷歌翻译
大型ML型号和数据集已经需要使用多GPU系统进行分布式模型培训。为了利用多GPU系统提供的权力，消除GPU间通信中的瓶颈至关重要 - 互连异构性质的问题挑战。在这项工作中，我们呈现TACCL，这是用于大规模多GPU系统的集体通信原语的合成器。 TACCL将异形拓扑和输入大小进行编码为合成问题，以生成优化的通信算法。 TACCL建立在标准的NVIDIA集体通信库（NCCL）之上，允许它成为PYTORCH等框架中GPU通信的替代品，具有最小的变化。 TACCL为全球，AllToAll和ALLERDUCE等通信基元生成算法，该算法高达3美元的速度超过NCCL。使用TACCL的算法加快了专家模型内部混合物的端到端培训，以17 \％$。通过将优化问题分解成零件并利用多GPU拓扑中的对称性，TACCL在不到3分钟内合成高达80-GPU的集体，比其他基于综合的状态快至少两个数量级 - 艺术集体通信图书馆。
translated by 谷歌翻译
灵巧的操纵仍然是机器人技术中的一个空缺问题。为了协调研究界为解决这个问题的努力，我们提出了共同的基准。我们设计和构建了机器人平台，该平台托管在MPI上供智能系统托管，可以远程访问。每个平台由三个能够敏捷物体操纵的机器人手指组成。用户能够通过提交自动执行的代码（类似于计算群集）来远程控制平台。使用此设置，i）我们举办机器人竞赛，来自世界任何地方的团队访问我们的平台以应对具有挑战性的任务ii）我们发布了在这些比赛中收集的数据集（包括数百个机器人小时），而我们为研究人员提供了访问自己项目的这些平台。
translated by 谷歌翻译
Dexterous操作是机器人中的一个具有挑战性和重要问题。虽然数据驱动方法是一个有希望的方法，但由于流行方法的样本效率低，当前基准测试需要模拟或广泛的工程支持。我们为Trifinger系统提供基准，这是一个开源机器人平台，用于灵巧操纵和2020年真正的机器人挑战的重点。在挑战中取得成功的基准方法可以一般被描述为结构性政策，因为它们结合了经典机器人和现代政策优化的元素。这种诱导偏差的包含促进样品效率，可解释性，可靠性和高性能。该基准测试的关键方面是验证跨模拟和实际系统的基线，对每个解决方案的核心特征进行彻底消融研究，以及作为操纵基准的挑战的回顾性分析。本工作的代码和演示视频可以在我们的网站上找到（https://sites.google.com/view/benchmark-rrc）。
translated by 谷歌翻译